用单一算法训练基础模型
🧭 基础模型统一训练范式
Carnegie Mellon University · Johns Hopkins University · Aurora Innovation
将预训练、SFT、RL 统一为单一似然训练目标，把 RL 视作对模型生成分布的最大似然拟合
📌 工作参考价值（4 点）
- 在业务 LLM 迭代中，可放弃严格分阶段 SFT→RLHF 流水线，用统一似然目标直接混合静态标注与模型生成样本，减少多阶段维护成本和切换误差，尤其适合电商文案生成、对话策略等需要快速试错的场景。
- 把 RL 步骤改写为在模型自身生成分布上的最大似然拟合，可降低 reward hacking 风险并稳定训练；在推荐系统用用户行为反馈作为偏好信号时，可借鉴该视角设计更平滑的在线学习目标。
- 将数据选择、配比和训练时机作为核心调参对象，而不是算法切换；可在电商推荐中用行为日志、人工标注、模型生成样本做动态配比，统一训练提升覆盖率和准确率。
- 统一训练提供更强持续学习起点：上新品类、适配新用户群体或增量更新推荐模型时，可沿用同一训练器而不必重启多阶段流程。
工作智能体：系统、能力与优化
🧭 Agent 工作系统与优化框架
Shanghai Jiao Tong University · The University of Hong Kong · The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · The Chinese University of Hong Kong
以工作为中心给出工作智能体的系统级框架，用持久性与开放性刻画条件并划分五类数字工作，梳理能力与优化路径
📌 工作参考价值（4 点）
- 用“工作持久性/开放性”给 Agent 任务分级：电商客服、推荐解释等低持久性对话可轻量处理；跨系统选品、投放、报表等高持久性任务需要状态化工作空间、checkpoint 与回滚机制。
- 五层工作形式可做架构拆分：对话层做查询理解，原子动作层做商品/内容编辑，多步层做依赖动作，工作流层做跨团队 handoff，工作空间层做跨对象依赖追踪；据此把 LLM 调用边界和工具接口设计清楚。
- 除模型微调外先优化 harness：工具说明、状态存储、错误恢复、RAG 上下文等往往能低成本提升搜索推荐 Agent 可靠性，再逐步引入 LoRA/SFT 联合优化。
- 评估以可验证工作产出为中心：定义任务完成率、交付质量、回滚率、依赖一致性等指标，避免只比 BLEU/ROUGE；对 push 文案生成/query 推荐也要看业务转化与可执行性。
TimeRSI：面向时间序列基础模型的自改进智能体部署
🧭 Agent 自动编排预测部署流程
Georgia Institute of Technology · University of Southern California · Samay AI
用 LLM coding agent 在冻结预测模型外围自动生成与迭代 pipeline，并通过自适应选择器提升时间序列预测部署效果
📌 工作参考价值（4 点）
- 把“冻结模型 + 外围 pipeline 自动迭代”迁移到电商预估/推荐：不改模型权重，由 coding agent 生成和修改特征注入、日历/活动信号、后处理或重排代码，在滚动历史回放窗口上评估，可显著降低人工 pipeline 调试成本。
- 借鉴错误反馈闭环：将回测中的分场景误差（如大促、时段、类目偏差）写成自然语言反馈给 agent 进行下一轮修改，比一次性搜索更有效；推荐系统可用“场景化 error report”驱动规则/校准代码生成。
- 在线集成 adaptive selector：按当前上下文和近期相似条件下的实际表现，从多个候选 pipeline/策略中动态选择，而不是固定单一版本；适合推荐场景中多召回/多后处理策略的在线组合选择。
- 工程落地时限定 agent 可修改空间（输入特征、输出校准、后处理逻辑）并做沙箱执行与回测成本控制，避免开放式搜索失控。
异质智能体共进化：专用基础模型与LLM Agent的互惠学习
🧭 专用模型与LLM Agent共进化训练 ★ 深度解读
Meta AI · University of Virginia
提出 HACE 框架，让专用基础模型与 LLM agent 互惠共进化，在推荐、蛋白质功能、材料稳定预测上全面超越收敛后基线
📌 工作参考价值（5 点）
- 用 LLM agent 做“经验筛选器”提升收敛后的推荐模型：让 agent 基于当前 specialist 的预测生成候选，只保留贡献 r_i = q_A - q_S > 0 的 verified response，再用这些 response 选择 specialist 的训练样本。电商推荐中可对已收敛的 SASRec/HSTU/Wukong 类模型继续榨取提升，尤其长尾/冷门类目。
- 融合打分公式很轻量，可直接上线实验：joint prediction 使用 s_i(c) + λ a_i(c)，agent 分数按 log reciprocal rank 衰减，λ 通过交叉验证在固定网格上选择。这种 fusion 不改变 specialist 结构，适合快速接入现有排序链路。
- 保留更新需做 paired validation，避免噪声回滚：每次 specialist 或 harness 更新后，在同一 validation batch 上用当前 agent 做配对评估，只接受 ΔJ > 0 的 proposal。工程上可作为在线/离线模型迭代的安全门控。
- harness 进化搜索可自动发现上下文/课程策略：论文中 harness 搜索会自动移除 genre metadata、隐藏候选排名、把课程指向 hard cases。对应推荐系统可进化地决定给 agent 看哪些特征/上下文、以及哪些训练样本进入下轮 specialist 微调，减少人工试错。
- agent 与 specialist 不必同构，小 agent 也可能够用：实验显示 Gemma-4 E4B 比更大的 26B-A4B 带来更稳定提升，说明业务中不必追求超大 LLM agent，计算资源配置可优先给 specialist 微调。
跨模态上下文学习的收敛性涌现
🧭 跨模态涌现的 in-context learning 规律
Johns Hopkins University · MIT · University of Illinois Urbana-Champaign
在六种模态中验证 few-shot ICL 普遍涌现，且任务难度效应在五个模态间相关，支持部分收敛涌现假设
📌 工作参考价值（4 点）
- 跨模态 ICL 在时序、基因组等非文本序列上有效，提示在电商推荐中可将用户行为序列、商品曝光序列视为另一种模态，用 few-shot 示例进行下一个交互预测或兴趣迁移。
- 论文中的 paired-mapping 任务套件可作为统一评测框架，业务上可构建类似的「输入-输出映射」任务集，快速测试不同基础模型在推荐/搜索数据上的 few-shot 适配能力，筛选适合 ICL 的任务类型。
- 任务效应在多数模态间相关，说明任务难度的跨模态一致性；在为新业务场景选择可 ICL 的任务时，可以参考其他模态（如文本）上的难度排序，降低试错成本。
- 对无法用自然语言指令描述的非语言任务（如 ID 序列、embedding 序列），few-shot ICL 可能是唯一有效的条件化机制，值得在搜索/推荐中储备这类能力以应对冷启动或新任务快速上线。
因果基础模型
🧭 因果推断 · In-context Learning
Layer 6 AI, Toronto, Canada · TD Bank Group, Toronto, Canada
提出因果基础模型（CFM），在大规模合成数据上预训练，对新数据集通过 in-context learning 零样本估计因果效应
📌 工作参考价值（4 点）
- 广告/Uplift 建模：将 CFM 作为预训练因果先验，在新 campaign 上零样本估计 ATE/CATE，减少冷启动数据需求；可先在小样本上验证策略效果，再决定是否训练专用模型。
- 合成数据流水线：参照 CFM 训练方式，在业务点击/转化模拟器中大规模生成含 treatment/control 的数据，预训练因果模型，再迁移到真实小样本任务上。
- Agent 决策：营销动作选择、定价折扣、Push 文案等场景中，可内嵌 CFM 估计不同动作的因果效应，避免仅用相关模型误判 ROI。
- 工程实现：论文开源代码和 notebooks 提供可复用的 CFM 架构与合成数据生成方法，可直接作为团队因果推理 baseline。
基础模型无监督后训练综述
🧭 无监督后训练 · LLM
HKUST(GZ) · HKUST · Xiaohongshu Inc. · WeChat, Tencent · CUHK
系统梳理80种无监督后训练方法，按内部信号来源分类并提出Input Visibility×Update Persistence统一框架
📌 工作参考价值（4 点）
- 可借鉴无监督后训练思路，利用电商/广告场景中大量无标签的 query、商品描述、用户行为文本对 LLM 做领域适配，减少人工标注成本。
- 四类内部信号（预测统计、样本关系、自生成目标、内部评估器）中，自生成目标（伪标签、rationale、curricula）在业务语料上最易落地：用当前模型对弱标注数据生成伪标签再做自训练，注意配合置信度过滤。
- 内部评估器（self-reward）用于排序/推荐模型微调时需警惕误差递归放大，建议与在线 A/B 指标绑定，避免仅依赖模型自评。
- Input Visibility×Update Persistence 框架可帮助决定部署形态：对时延敏感的在线推荐模块采用离线更新+冻结参数，对离线生成模块可做在线持续无监督更新。
时间序列基础模型中的预测坍缩现象与校准-排序权衡
🧭 时序基础模型 · 校准-排序权衡
Abel AI Lab · Arizona State University · University of Oxford
发现时序基础模型预测坍缩现象，提出 CalibRank 平衡校准与排序，横截面相关性近三倍提升。
📌 工作参考价值（4 点）
- 排序目标与校准目标未必一致：若业务指标是物品排序质量（如信息流/广告 CTR 排序），只优化 pointwise MSE/Logloss 可能导致预测趋于均值、区分度不足。可尝试在损失中加入 batch-level 排序项（如 pairwise/listwise loss 或相关性正则），类似 CalibRank。
- 评估需补横截面/排序视角：逐样本 AUC/准确率可能掩盖排序结构失灵，增加 IC、Spearman 或 NDCG 等指标监控，尤其对于低信号目标（点击、转化）。
- 低可预测性 + 校准约束会使预测振幅过小：若线上排序模型打分过于集中，可放松校准约束或对 logits 做温度缩放/振幅重标定，但需监控校准误差。
- 多实体共享模型（用户/商品）时，逐实体损失不识别全局序；可尝试在训练中构造 batch 内样本对或跨实体排序损失。
通过技能与上下文代码进化实现自进化具身智能体
🧭 Agent 自进化 · 技能与harness优化
Northeastern University · Microsoft Research
提出SHAPER框架，冻结模型参数，通过环境交互进化可复用技能与上下文代码harness，实现无需训练的具身Agent自进化
📌 工作参考价值（4 点）
- 在电商/Agent系统中可借鉴将LLM同时用作planner和optimizer：冻结模型，将成功经验沉淀为可复用技能（类似结构化RAG），通过目标环境rollouts自我进化，避免频繁微调带来的数据和算力成本。
- 将prompt模板、工具调用逻辑、上下文代码视为可优化的外部参数（harness），在线上交互中持续调整，这与推荐系统中优化召回策略、重排规则等非参数组件思路一致，可低风险快速迭代。
- 在无法标注大量数据或训练成本过高时，优先尝试基于test-time scaling的train-free方案（如verifier-free selection、voting）作为基线，可能接近SFT效果，适合初创或快速验证场景。
- 注意该工作针对具身智能体，业务落地时需抽象其核心：固定模型权重，进化外部技能库和任务编排，对电商Agent的多轮对话、工具调用、query理解等模块具备直接迁移价值。
对齐即一切：时间序列基础模型的免训练检索增强预测
🧭 检索增强预测 · 免训练时序对齐
Stanford University · Amazon
提出免训练的时序对齐方法Align-RAG，证明冻结模型自身即可动态利用检索上下文，无需训练适配器
📌 工作参考价值（4 点）
- 在电商销量/广告点击预测中，可直接使用“幅度缩放+相位平移”的对齐方法，将检索到的相似时间序列与当前序列对齐后输入冻结预测模型，无需训练任何适配器，降低工程复杂度。
- 用户行为序列预测（如下次购买时间、点击路径）可借鉴此思路：对检索到的历史行为窗口进行均值和方差归一化，并基于互相关计算最佳滞后，再作为冻结基座模型的上下文，有望提升零样本泛化能力。
- 对推荐系统的RAG设计启示：冻结大模型本身已具备动态利用检索上下文的能力，应优先采用无参数的输入对齐基线，避免过早引入可学习的融合模块，减少训练成本和过拟合风险。
- 工程实现简单高效：对齐仅需计算均值和方差（幅度缩放）及整数滞后（相位对齐），易于集成至现有检索增强推理流水线，可作为时序预测任务的默认基线。